潜在空间基于能量的模型（EBM），也称为基于能量的先验，引起了对生成建模的日益兴趣。由于其在潜在空间的配方和强大的建模能力方面的灵活性所推动，最近构建的作品已经进行了有趣的尝试，目的是针对文本建模的解释性。但是，潜在空间EBM还继承了数据空间中EBM的一些缺陷。实践中退化的MCMC抽样质量会导致培训中的发电质量和不稳定差，尤其是在具有复杂潜在结构的数据上。受到最近的努力的启发，该努力利用扩散恢复的可能性学习是解决抽样问题的一种方法，我们在变异学习框架中引入了扩散模型和潜在空间EBM之间的新型共生，这是潜在扩散能量基于能量的模型。我们与信息瓶颈共同开发基于几何聚类的正则化，以进一步提高学到的潜在空间的质量。对几个具有挑战性的任务进行的实验证明了我们模型在可解释的文本建模上的优越性能而不是强大的同行。

社区问题应答（CQA）FORA，如堆栈溢出和雅虎！答案包含丰富的资源，对广泛的基于社区的问题答案。每个问题线程都可以通过不同的角度接收大量答案。答案摘要的一个目标是产生反映答案视角范围的摘要。抽象答案概述的主要障碍是没有数据集，可以提供监督制作这些摘要。最近的作品提出了创建此类数据的启发式，但这些是嘈杂的，并且不会涵盖答案中存在的所有观点。这项工作介绍了4,631个CQA线程的新型数据集，用于答案摘要，由专业语言学家策划。我们的管道收集了答案概述所涉及的所有子特设的注释，包括选择与问题相关的答案句子，根据透视图对这些句子进行分组，总结每个视角，并生成整体摘要。我们在这些子组织上分析和基准最先进的模型，并为多视角数据增强引入了一种新的无监督方法，这进一步提高了根据自动评估的整体摘要性能。最后，我们提出了加强学习奖励，以改善事实一致性和答案覆盖范围和分析改进领域。

我们呈现深度区域竞争（DRC），这是一种旨在以完全无监督的方式从图像中提取前景对象的算法。前景提取可以被视为一种特殊的泛型图像分段的情况，专注于从背景中识别和解开对象。在这项工作中，我们通过以专家（MOE）的混合形式的生成图像建模和生成图像建模来重新思考前景提取，我们进一步介绍了学习的像素重新分配作为捕获规律的基本诱导偏差背景区域。通过这种建模，可以通过期望最大化（EM）自然地发现前景背景分区。我们表明，该方法有效利用了在分区过程中混合成分之间的相互作用，该分区过程紧密地连接到区域竞争，是通用图像分割的一个精细方法。实验表明，与现有方法相比，DRC在复杂的真实数据上表现出更具竞争力的性能和具有挑战性的多对象场景。此外，我们认为，即使在训练期间看不见的类别，DRC也可能概括为新的前景物体。

Current computer vision models, unlike the human visual system, cannot yet achieve general-purpose visual understanding. Existing efforts to create a general vision model are limited in the scope of assessed tasks and offer no overarching framework to perform them holistically. We present a new comprehensive benchmark, General-purpose Visual Understanding Evaluation (G-VUE), covering the full spectrum of visual cognitive abilities with four functional domains $\unicode{x2014}$ Perceive, Ground, Reason, and Act. The four domains are embodied in 11 carefully curated tasks, from 3D reconstruction to visual reasoning and manipulation. Along with the benchmark, we provide a general encoder-decoder framework to allow for the evaluation of arbitrary visual representation on all 11 tasks. We evaluate various pre-trained visual representations with our framework and observe that (1) Transformer-based visual backbone generally outperforms CNN-based backbone on G-VUE, (2) visual representations from vision-language pre-training are superior to those with vision-only pre-training across visual tasks. With G-VUE, we provide a holistic evaluation standard to motivate research toward building general-purpose visual systems via obtaining more general-purpose visual representations.

近年来，骑车服务的越来越重要表明，有必要研究骑车需求的关键决定因素。然而，关于骑乘需求决定因素的非线性效应和空间异质性，知之甚少。这项研究采用了可解释的基于基础学习的分析框架，以确定塑造骑车需求并在各种空间环境（机场，市区和社区）探索其非线性关联的关键因素。我们在芝加哥使用骑车旅行数据进行实证分析。结果表明，建筑环境的重要性在空间环境中各不相同，并且在预测对机场旅行的乘车需求方面共同贡献了最大的重要性。此外，建筑环境对骑车需求的非线性影响显示出强烈的空间变化。骑车需求通常对市区旅行的建筑环境变化最有反应，然后进行邻里旅行和机场旅行。这些发现提供了运输专业人员的细微见解，以管理骑车服务。

从大脑活动中解码图像一直是一个挑战。由于深度学习的发展，有可用的工具可以解决此问题。解码图像旨在将神经尖峰列车映射到低级视觉特征和高级语义信息空间。最近，有一些关于从尖峰列车解码的研究，但是，这些研究更少关注神经科学的基础，很少有研究将接受场合并为视觉图像重建。在本文中，我们提出了一种具有生物学特性的深度学习神经网络体系结构，以从尖峰火车中重建视觉图像。据我们所知，我们实施了一种将接收场属性矩阵集成到损失函数中的方法。我们的模型是从神经尖峰火车到图像的端到端解码器。我们不仅将Gabor过滤器合并到自动编码器中，该自动编码器用于生成图像，还提出了具有接收场特性的损失函数。我们在两个数据集上评估了我们的解码器，这些数据集包含猕猴的一级视觉皮层神经尖峰和sal虫视网膜神经节细胞（RGC）峰值。我们的结果表明，我们的方法可以有效地结合感受的特征以重建图像，从而根据神经信息提供一种新的视觉重建方法。

深层神经网络预测交通需求已引起了学术界和行业社会的广泛兴趣。其中，成对来源点（OD）需求预测是一个有价值但具有挑战性的问题：（i）大量可能的OD对，（ii）空间依赖性的内在性和（iii）交通的复杂性状态。为了解决上述问题，本文提出了一种连续的时间和多级动态图表表示方法，用于原始用途需求预测（CMOD）。首先，构建了一个连续的动态图表示学习框架，该框架维护每个流量节点（地铁站或出租车区）的动态状态向量。国家向量保留历史交易信息，并根据最近发生的交易不断更新。其次，提出了多层结构学习模块，以模拟站点级节点的空间依赖性。它不仅可以从数据自适应地利用节点之间的关系，还可以通过集群级别和区域级虚拟节点共享消息和表示形式。最后，跨级融合模块旨在集成多级记忆并为最终预测生成综合节点表示。在北京地铁和纽约出租车的两个现实世界数据集上进行了广泛的实验，结果证明了我们的模型与最先进的方法相比。

关于视觉关系的推理对于人类如何解释视觉世界至关重要。对于当前的深度学习算法，这项任务仍然具有挑战性，因为它需要共同解决三个关键技术问题：1）识别对象实体及其属性，2）推断实体对之间的语义关系，以及3）将新颖的对象关系组合推广到新颖的对象组合，即。 ，系统的概括。在这项工作中，我们使用视觉变压器（VIT）作为视觉推理的基础模型，并更好地利用定义为对象实体及其关系的概念来提高VIT的推理能力。具体来说，我们介绍了一种新颖的概念词典，以允许使用概念键在训练时间进行灵活的图像检索。该词典实现了两个新的概念引导辅助任务：1）促进关系推理的全局任务，以及2）促进语义中心对象对应学习的本地任务。为了检查视觉推理模型的系统概括，我们引入了标准HICO和GQA基准测试的系统分裂。我们显示了最终的模型，概念引导的视觉变压器（或简称为简短）在原始拆分中显着优于HICO和GQA的先验方法，在系统拆分中的方法为16％和13％。我们的消融分析还揭示了我们的模型与多个VIT变体和与参数的鲁棒性的兼容性。

A recent study has shown a phenomenon called neural collapse in that the within-class means of features and the classifier weight vectors converge to the vertices of a simplex equiangular tight frame at the terminal phase of training for classification. In this paper, we explore the corresponding structures of the last-layer feature centers and classifiers in semantic segmentation. Based on our empirical and theoretical analysis, we point out that semantic segmentation naturally brings contextual correlation and imbalanced distribution among classes, which breaks the equiangular and maximally separated structure of neural collapse for both feature centers and classifiers. However, such a symmetric structure is beneficial to discrimination for the minor classes. To preserve these advantages, we introduce a regularizer on feature centers to encourage the network to learn features closer to the appealing structure in imbalanced semantic segmentation. Experimental results show that our method can bring significant improvements on both 2D and 3D semantic segmentation benchmarks. Moreover, our method ranks 1st and sets a new record (+6.8% mIoU) on the ScanNet200 test leaderboard. Code will be available at https://github.com/dvlab-research/Imbalanced-Learning.

Weakly-supervised object localization aims to indicate the category as well as the scope of an object in an image given only the image-level labels. Most of the existing works are based on Class Activation Mapping (CAM) and endeavor to enlarge the discriminative area inside the activation map to perceive the whole object, yet ignore the co-occurrence confounder of the object and context (e.g., fish and water), which makes the model inspection hard to distinguish object boundaries. Besides, the use of CAM also brings a dilemma problem that the classification and localization always suffer from a performance gap and can not reach their highest accuracy simultaneously. In this paper, we propose a casual knowledge distillation method, dubbed KD-CI-CAM, to address these two under-explored issues in one go. More specifically, we tackle the co-occurrence context confounder problem via causal intervention (CI), which explores the causalities among image features, contexts, and categories to eliminate the biased object-context entanglement in the class activation maps. Based on the de-biased object feature, we additionally propose a multi-teacher causal distillation framework to balance the absorption of classification knowledge and localization knowledge during model training. Extensive experiments on several benchmarks demonstrate the effectiveness of KD-CI-CAM in learning clear object boundaries from confounding contexts and addressing the dilemma problem between classification and localization performance.